随机梯度下降方法及其变体构成了实现机器学习问题的良好收敛速率的核心优化算法。尤其获得这些速率，特别是当这些算法用于手头的应用程序进行微调时。虽然这种调整过程可能需要大的计算成本，但最近的工作表明，通过线路搜索方法可以减少这些成本，可以迭代调整步骤。我们通过使用基于前向步骤模型建筑的新算法提出了一种替代方法来转移到随机线路搜索。该模型构建步骤包含了二阶信息，允许不仅调整步骤，还可以调整搜索方向。注意到深度学习模型参数分组（张量层），我们的方法构建其模型，并计算每个参数组的新步骤。这种新颖的对角化方法使所选择的步长自适应。我们提供收敛率分析，并通过实验表明，在大多数问题中，所提出的算法在大多数问题中实现更快的收敛性和更好的概括。此外，我们的实验表明，该方法的方法非常强大，因为它会收敛于各种初始步骤。
translated by 谷歌翻译
可学习的关键点探测器和描述符开始超过经典的手工制作的特征提取方法。关于视觉表示的自我监督学习的最新研究推动了基于深网的可学习模型的不断增长。通过利用传统的数据增强和本性转换，这些网络学会在不利条件下检测到拐角，例如极端照明变化。但是，它们的概括功能仅限于通过经典方法或合成生成的数据检测到的类似角的特征。在本文中，我们提出了对应网络（Corrnet），该网络学会了检测可重复的关键点并通过在空间约束下通过无监督的对比度学习提取歧视性描述。我们的实验表明，Corrnet不仅能够检测到诸如角落之类的低级特征，还可以通过我们提议的关节引导的潜在空间反向传播来代表一对输入图像中存在相似对象的高级特征。我们的方法在视点变化下获得了竞争结果，并在照明变化下实现了最先进的性能。
translated by 谷歌翻译
由于难以获得地面真理标签，从虚拟世界数据集学习对于像语义分割等现实世界的应用非常关注。从域适应角度来看，关键挑战是学习输入的域名签名表示，以便从虚拟数据中受益。在本文中，我们提出了一种新颖的三叉戟架构，该架构强制执行共享特征编码器，同时满足对抗源和目标约束，从而学习域不变的特征空间。此外，我们还介绍了一种新颖的训练管道，在前向通过期间能够自我引起的跨域数据增强。这有助于进一步减少域间隙。结合自我培训过程，我们在基准数据集（例如GTA5或Synthia适应城市景观）上获得最先进的结果。Https://github.com/hmrc-ael/trideadapt提供了代码和预先训练的型号。
translated by 谷歌翻译